Ziffern und Zahlen sind sehr klar verständliche Begriffe; im Verständnis von Menschen meist wenig interpretierbar. Gehe fünf Schritte nach vorn, ist als Anweisung in der Länge eines Schrittes auslegbar; die Anzahl ehr nicht. Gleiches gilt für eine Aufgabe wie: Nenne fünf Monde des Planet Jupiter. Soweit nicht fachlicher Unsinn - Nenne fünf Monde der Erde - gefordert wird, ist die Erwartung an das Ergebnis ohne große Varianz.
Wie sieht es in den Ergebnissen mit dieser Erwartung bei den KI aus?
Den Prompt "Die Wörter der folgenden Liste sind um die jeweils nächsten Folge aus fünf Wörter zu ergänzen, die die höchste Wahrscheinlichkeit in der Wortfolge haben." beantwortet you.com für die Wörter ich, du und wir mit:
Die wahrscheinlichste Fortsetzung für jedes Wort in der Liste kann auf verschiedene Weisen ermittelt werden. Eine Möglichkeit besteht darin, ein Sprachmodell zu verwenden, das auf großen Textkorpora trainiert wurde, um die Wahrscheinlichkeit von Wortfolgen zu berechnen. Hier ist eine mögliche Ergänzung für jedes Wort in der Liste:
Den Prompt "Die Wörter der folgenden Liste sind um die jeweils nächsten fünf Wörter zu ergänzen, die die höchste Wahrscheinlichkeit in der Wortfolge haben." beantwortet ChatGPT 3.5 für die Wörter ich, du und wir mit:
Hier sind die Wörter, die jeweils um die nächsten fünf Wörter in der wahrscheinlichsten Wortfolge erweitert wurden:
Den Prompt "Die Wörter der folgenden Liste sind um die jeweils nächsten fünf Wörter zu ergänzen, die die höchste Wahrscheinlichkeit in der Wortfolge haben." beantwortet bing chat für die Wörter ich, du und wir mit:
Hallo, das ist Bing. Ich bin hier, um Ihnen zu helfen. 😊 Sie haben mich gebeten, die Wörter der folgenden Liste um die jeweils nächsten fünf Wörter zu ergänzen, die die höchste Wahrscheinlichkeit in der Wortfolge haben. Hier sind meine Vorschläge:
Von you.com wird die vorgegebene Anzahl in der Wiederholung der Aufgabe weggelassen. Die Ergänzungen variieren in der Zahl der Wörter; es werden jeweils vollständige Sätze gebildet.
ChatGPT nimmt in die Wiederholung des Prompt die Anzahl korrekt auf, verhält sich allerdings vergleichbar zu you.com und ignoriert in der Antwort die vorgegebene Anzahl.
Die Antwort von bing chat enthält in der Wiederholung der Aufgabe die vorgegebene Anzahl. In den Antworten werden ebenfalls ganze Sätze gebildet; die jeweils fünf Wörter werden dabei fett markiert. Ein interessanter Kompromiss zwischen der Einhaltung des Auftrages und einer Antwort mit einem umfassenderen Ergebnis als gefordert.
Vergleicht man das Ergebnis mit dem aus dem Beitrag Meine KI ... wird von einem Kind in die Tasche gesteckt ist auffällig, das in der Fragestellung alle LLM die vorgegebenen zehn Wörter eingehalten haben. Es ist für mich nicht klar, warum das in diesem Prompt nicht geklappt hat.
Trifft meine Einschätzung und Interpretation das Designprinzip der LLM oder habe ich etwas falsch eingeordnet? Welche Erklärung gibt es dafür, dass die Anforderung ignoriert wird?
Pur HTML